課程首頁 / Part III AI 電腦視覺技術 / W12 MediaPipe 骨架

Week 12 · Part III · 五範式 RPS 第四棒

W12 MediaPipe Hands 骨架偵測

第四種範式:不訓練模型,直接用 Google MediaPipe 的「21 點 landmark」抓手部骨架。用彎曲度算法做 RPS,還能延伸到 Action Recognition(動態手勢)。W11 是 SOTA 物件偵測,本週是 SOTA 骨架點偵測 — 不同任務,不同範式。

本週要做的事

順序內容預估時間
1Ch.1 課程定位:MediaPipe vs YOLO 分工10 min
2Ch.2 MediaPipe 概論 + Solutions 全景15 min
3Ch.3 MediaPipe Hands 內部架構(palm detector + landmark estimator)20 min
4Ch.4 Python 端使用 + 21 點 landmark 解析30 min
5Ch.5 手部 RPS 邏輯(彎曲度算法)25 min
6Ch.6 Action Recognition — 從靜態到動態25 min
7Ch.7 Android Java MediaPipe Tasks API 部署30 min
8Ch.8 Custom Solutions (Model Maker) + 期末專題建議15 min
9Ch.9 研究級對比 + 作業10 min

教材檔案

MediaPipe vs YOLO 分工

同樣都是「在影像上找東西」,但不同抽象層級:

YOLO (W11)MediaPipe (W12)
輸出bbox + class骨架點 (21 點 / 33 點)
適用萬用偵測(任何物件)人類專用(手/身體/臉)
訓練要自訓Google 預訓練,直接用
RPS框出手 + 分類 rock/scissors/paper抓 landmark + 算彎曲度
細節整隻手是一個框每根手指都看得到

MediaPipe Hands 內部架構(兩階段)

跟單階段 YOLO 不同,MediaPipe Hands 是經典兩階段流程:

階段一:Palm Detector

  • 輕量 detection 模型
  • 找出手掌位置 (bounding box)
  • 每幀都跑(或追蹤模式時隔幾幀跑)

階段二:Hand Landmark

  • 用 palm bbox 裁切出手部 ROI
  • 跑專門模型回歸 21 個 landmark
  • 含 (x, y, z) — z 是相對深度

21 點 landmark 與 RPS 彎曲度算法

每隻手 21 點,從手腕到指尖。指縫分布:

0 = 手腕 1-4 = 大拇指 5-8 = 食指 9-12 = 中指 13-16 = 無名指 17-20 = 小指

RPS 彎曲度算法

每根手指看「掌根→第一節→指尖」三點是否大致共線:

  • 共線 → 該手指伸直
  • 明顯彎折 → 該手指彎曲

判斷規則:

  • 0 根手指伸直 → 石頭
  • 2 根手指伸直(食指+中指)→ 剪刀
  • 5 根手指伸直 → 布
對比 W9 凸缺陷法:W9 看「指縫深度與角度」靠形態學,W12 直接拿到 landmark 算彎曲度。本質不同 — landmark 已經是「結構化資訊」,W9 還在「像素層」。

Action Recognition:從靜態到動態

RPS 是靜態手勢。MediaPipe + Sequence Model 可以處理動態手勢(揮手、招手、特定動作):

  • 連續 N 幀 landmark 序列 (shape: (N, 21, 3))
  • 用 LSTM / Transformer / 1D CNN 分類
  • 應用:手語識別、無接觸控制、運動姿勢評估

期末專題可朝這方向延伸。

Android Tasks API 部署

MediaPipe 在 Android 有專門 SDK Tasks API(不走 Chaquopy,不走 TFLite,有自己 wrapper):

// build.gradle
implementation 'com.google.mediapipe:tasks-vision:0.10.x'
// Java
HandLandmarker landmarker = HandLandmarker.createFromOptions(...);
HandLandmarkerResult result = landmarker.detect(mpImage);
List<NormalizedLandmark> hand = result.landmarks().get(0);

輸出直接是 landmark 結構,Java 端跑彎曲度算法 → 輸出 RPS。

W12 作業

MediaPipe RPS + Action Recognition demo。詳見作業頁。

  • 用 MediaPipe Hands 在 Android 即時抓 landmark
  • 實作彎曲度算法判斷 RPS
  • (進階) 加 Action Recognition 識別一個動態手勢
  • 跟 W9/W10/W11 比較(正確率 + FPS)
  • 30 秒影片 + 簡易報告

查看完整作業頁 →

學生檢核表

  • 我能解釋 MediaPipe 兩階段架構(palm + landmark)
  • 我知道 21 點 landmark 的編號意義
  • 我會用彎曲度算法判斷手指伸直 / 彎曲
  • 我能在 Android Tasks API 上跑 MediaPipe Hands
  • 我理解 MediaPipe Z 軸是「相對深度」不是真 3D
  • 我能對比 W9/W10/W11/W12 四種範式的取捨

下週預告 (W13)

第五種範式 — ML Kit Vision API:

  • Google 的 production-ready 工具棧
  • 9 大 API(OCR / Barcode / Face / Pose 等)
  • on-device vs Cloud 取捨
  • Custom Image Labeling